Scaling Laws for Behavioral Foundation Models over User Event Sequences
用户行为事件序列基础模型的扩展定律
🧭 生成式推荐 · 扩展定律与架构优化 ★ 深度解读
Unbox AI
行为基础模型的参数拆分、批大小、模型/数据分配和负采样均呈现可预测的扩展规律，最优嵌入器占比仅约2%且随计算预算向数据重倾斜。
📌 工作参考价值（4 点）
- 特征编码器（embedder）设计可极度轻量（总参数量的2%），因为嵌入器参数被复用次数远超上下文编码器，且流行项重复训练严重，大幅降低训练成本。
- 负采样数量应随计算预算增加而扩大，但在10^19 FLOPs后内存成为瓶颈，需引入候选轴检查点或分片，直接指导电商推荐系统在大规模训练时的资源规划。
- 模型/数据分配比低算力时极度数据重（D/N≈340），高算力时靠近Chinchilla法则（D/N≈36），所以在预算增长时逐步增大模型相对数据占比能最大化收益。
- 训练时使用的批内损失与部署时的全目录排名指标存在系统性偏差，临界批大小、最优负采样数等均依赖目标指标，必须先用部署指标校准扩展定律，否则最优配方可能错误转移。